图 襄 情 荫 研 作 


第 65 卷 第 23 期 2021 年 12 月 


ea te ts 
UL | 山 i IV 口 


专家 个 体 多 稚 特 征 刻 男 与 专家 组 均衡 推荐 研 


DN * 


放 


年 华 斌 ” 吴 诺 ” 损 欣 
天 津 财经 大 学 理工 学 院 ”天 津 300222 


摘 要 : [目的 /意义 ] 提 出 一 种 基于 专家 个 体 多 维特 征 刻画 的 电子 政务 项 目 评审 专家 组 推荐 方法 ,提升 专家 组 间 项 目 评审 
的 一 致 性 水 平 。[ 方法 过程] 以 专家 个 体 的 长 期 评审 意见 为 数据 源 ,利用 意见 挖 所 技术 实现 知识 元 识别 与 情感 极 
性 获取 ;构造 专家 的 领域 知识 结构 并 动态 迭代 更 新 ;利用 统计 分 析 刻 画 专 家 知识 水 平 . 评 审 深刻 性 、 情 感 风 格 、 领 
域 专长 特征 ,实现 基于 科学 计量 的 专家 特征 刻画 并 以 此 为 基础 进行 专家 组 合 的 推荐 。[ 结果 /结论 | 本文 的 方法 注 
重 专家 组 的 多 维特 征 均衡 ,对 电子 政务 项 目 评审 具有 很 好 的 问题 针对 性 ,并 在 实践 中 取得 了 良好 的 应 用 效果 。 
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意见 挖掘 ”知识 单元 计量 专家 推荐 


© 
< 二 以 认 知 论 学 说 为 基础 的 同行 专家 评价 法 "被 我 国 


政 磅 部 门 广 泛 用 来 进行 各 类 项 目 评审 。 同 行 专家 评价 
法 的 优点 是 能 够 在 缺乏 足够 统计 数据 和 原始 资料 的 情 
站 BB 利 用 专家 经 验 快速 做 出 定量 估计 。 专 家 评价 结果 
的 家 博 程度 ,主要 取决 于 专家 的 阅历 经 验 .知识 丰富 程 


所 及 个 人 情感 态度 等 因素 。 基 于 专家 独立 评价 的 专 
强 评价 方法 作为 一 种 群 决策 方法 ,是 对 专家 评价 法 
的 它 种 完善 ,但 却 又 带 来 了 专家 组 构成 合理 性 的 问题 。 
在 政府 各 类 项 目 评审 的 实际 工作 中 ,随机 抽取 专家 构 
成 加 家 组 的 方式 往往 导致 同一 项 目 在 不 同 组 间 的 评审 
结论 差异 较 大 。 因 此 ,对 专家 组 构成 方法 的 研究 不 仅 


性 、 预 算 合理 性 绩效 考核 可 实现 性 等 行政 管理 内 涵 。 
电子 政务 项 目 受 到 较为 固定 的 管理 规制 约束 ,项 目 建 
设 内 容 与 建设 结果 又 要 遵守 类 属 明确 的 技术 标准 与 实 
施 标准 规范 。 因 此 ,电子 政务 项 目 评审 活动 主要 是 以 
有 限 维度 的 确定 性 知识 在 有 限时 间 内 依赖 专家 经 验 进 
行 的 群 决策 行为 ,这 就 导致 了 电子 政务 项 目 评审 专家 
组 的 知识 结构 合理 性 对 于 项 目 审批 结论 的 科学 性 具有 
十 分 重要 的 支撑 作用 。 基 于 认 知 科学 理论 和 心理 学 理 
论 ,专家 个 体 的 多 种 特征 差异 是 导致 认 知 差异 和 情感 
极 性 差异 的 根本 原因 ,也 是 造成 专家 组 间 评 审结 果 不 
一 致 这 一 客观 现象 的 来 由 。 专 家 组 评价 作为 一 种 则 在 
均衡 专家 个 体 差异 的 群体 决策 方法 ,其 实质 是 应 形成 
一 套 促 进 专 家 组 多 维特 征 均衡 的 推荐 方法 ,以 此 提升 


具有 理论 价值 ,而 且 具 有 提升 项 目 评价 科学 性 的 实际 

科技 项 目 具 有 多 类 性 、 技 术 路 线 多 样 性 以 及 多 目 
标 性 的 个 性 化 特点 ,如 基础 研究 类 与 应 用 研究 类 的 差 
异 物理 实 验 与 仿真 实验 的 技术 方法 区 别 以 及 小 试 、 中 
试 .批量 生产 的 不 同 阶段 划分 。 理 论 上 ,科技 项 目 评价 
的 有 效 性 主要 取决 于 评价 者 的 经 验 知识 与 评价 目标 的 
契合 度 , 因 此 科技 项 目 评价 专家 的 推荐 研究 主要 聚焦 
于 专家 知识 结构 与 评价 目标 的 一 致 性 方面 。 区 别 于 科 
技 项 目 评价 ,电子 政务 项 目 评审 具有 更 多 的 政策 合 规 


专家 组 项 目 评审 结论 的 一 致 性 。 据 此 ,定义 与 刻画 评 
专家 特征 .实现 基于 特征 均衡 的 专家 组 推荐 研究 对 
于 电子 政务 项 目 审批 工作 具有 重要 的 基础 价值 。 


2 相关 研究 


专家 推荐 研究 在 科学 学 与 情报 学 中 均 有 涉及 ,但 
侧重 不 同 。 科 学 学 的 研究 更 加 注重 对 专家 研究 专长 与 
所 评价 项 目的 一 致 性 、 专 家 阅历 与 权威 性 等 要 素 的 选 
择 , 目 的 是 尽 可 能 实现 同行 评价 .权威 评价 ,解决 复杂 
知识 边界 带 来 的 认 知 差异 问题 。 情 报 学 的 研究 则 侧重 


下 
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对 具有 特定 知识 类 型 专家 的 发 现 ,是 科学 学 研究 的 重 
要 工具 。 

清华 大 学 “人 才 评 价 测 不 准 原理 "研究 成 果 中 
证 明 ,对 一 个 人 各 方面 能 力 的 评价 需要 通过 科学 地 选 
择 测试 样本 ,并 经 过 相当 一 段 时 间 的 过 程 性 跟踪 测试 ， 
才能 获得 对 其 学 习 和 创造 能 力 评价 的 信 度 和 效 度 , 且 
结果 不 是 精确 值 。 这 一 结论 为 本 文 利用 长 期 的 .历史 
形成 的 专家 评审 意见 作为 专家 特征 刻画 的 数据 源 提供 
了 科学 性 支撑 。 同 时 ,采用 累积 性 .间隔 性 的 动态 刻画 
策略 也 完全 符合 专家 认 知 成 长 的 客观 规律 以 及 “过 程 
性 跟踪 测试 ”的 方法 要 求 。 中 国人 性 格 研究 组 将 国人 
的 性 格 分 解 为 5 个 集 质 5 , 即 : 生 活 旨 趣 、 认 知 风格 、 情 
绪 特 征 、 意 志 品 质 、 态 度 倾向 。 其 中 ,生活 旨 趣 中 包括 
知 误 性 等 特质 ; 认 知 风格 包括 客观 性 、 全 面 性 .敏捷 性 
特质; 情结 特征 包括 强烈 性 ,持续 性 等 特质 。 上 述 成 
果 为 本 文 的 专家 特征 选择 奠定 了 理论 基础 。 
S 对 于 专家 推荐 研究 ,国外 多 从 定性 的 角度 探讨 如 
合 和 定 科学 的 同行 评议 专家 监督 管理 制度 “9 ,国内 
则 侧重 于 专家 评价 指标 体系 的 构建 以 及 专家 识别 推荐 


法 :在 专家 评价 研究 方面 , 游 庆 根 等 "提出 一 套 
怕 丰 本 情况 .科研 能 力 .评审 技能 .个 人 信誉 构成 的 专 
察 当 价 指标 体系 ,与 陈 媛 等 ”以 科研 活跃 程度 .评审 绩 
北齐 评审 态度 构成 的 评价 指标 体系 具有 不 同 的 侧重 考 


发 。 但 是 ,上 述 研究 大 多 缺乏 对 专家 个 体 评 价 结论 的 
知识 计量 分 析 ,无 法 支撑 利用 元 评价 理论 ”进行 专家 
组 的 推荐 研究 。 

科学 计量 学 与 知识 计量 学 是 专家 专长 识别 的 基础 
理论 。 朱 庆 华 "解析 了 知识 元 挖掘 原理 ,辨析 了 知识 
元 与 知识 单元 的 关系 。 进 一 步 地 , 姜 春 林 等 提出 了 
利用 知识 单元 计量 实现 学 术 论 文 评价 的 方案 ;次 新 、 三 
均 平 ”利用 知识 图 谱 与 科学 计量 方法 实现 交叉 学 科 
专家 闭 选 。 上 述 研究 为 专家 知识 特征 定义 提供 了 借 
鉴 ,也 为 本 文 的 专家 组 构成 理论 提供 了 依据 。 针 对 专 
家 评价 问题 ,元 评价 理论 提供 了 理解 专家 评价 质量 偏 
差 的 方法 。 元 评价 指标 主要 包括 偏差 系数 、 变 异 系 
数 “等 基于 评分 数据 构建 的 客观 指标 ,这 是 专家 特征 
计量 的 基本 方法 论 。 

基于 上 述 总 结 ,在 评价 目标 导向 的 专家 特征 定义 
基础 上 ,以 电子 政务 项 目 评审 过 程 中 累积 的 专家 意见 
作为 主要 元 评价 内 容 ,利用 知识 挖掘 、 知 识 计 量 的 基本 
方法 可 以 实现 对 专家 个 体 的 多 维特 征 刻画 ,进而 完成 
基于 多 维特 征 均衡 的 专家 组 推荐 。 


3 ”研究 框架 与 相关 方法 


3.1 专家 特征 刻画 的 数据 源 与 知识 表示 、 补 充 策略 
电子 政务 项 目 评审 专家 一 般 具 有 长 期 的 评审 经 


虑 2 为 本 文 的 专家 特征 选取 提供 了 借鉴 ;加 在 专家 推荐 
恩 和 上 , 赵 千 等 四 结合 论文 子 主题 覆盖 率 与 专家 权威 
度 鸯 方面 构建 了 专家 推荐 模型 , 王 梓 森 等 ”按照 项 目 
学 竹村 层次 结构 乏 层 计算 专家 学 术 专长 与 项 目 所 涉及 
学 各 概念 间 的 语义 相似 度 ,实现 了 多 粒度 的 同行 专家 


学 术 专 长 匹配 方法 ,为 本 文 的 知识 获取 方法 提供 了 启 


历 ,项 目 管理 系统 中 不 仅 在 有 多 个 专家 组 的 评审 结论 ， 
而 且 保存 了 专家 组 中 各 专家 的 独立 评审 结果 与 专家 意 
见 短文 本 ( 见 图 1) 。 上 述 数据 作为 专家 个 体 特征 刻画 
的 客观 依据 ,在 情景 知识 辅助 下 即 可 满足 专家 组 特征 
均衡 推荐 的 应 用 需求 。 


下 市 信息 化 项 目 专家 论证 意见 


一 、 项 目的 必要 性 和 需求 分 析 
1. 项 目 建 设 的 必要 性 口 10 分 口 8 分 团 6 分 口 4 分 口 2 分 
2. 项 目 需求 分 析 的 明 榴 性 


二 、 项 目的 主要 内 容 和 目标 


口 8 分 口 6 分 加 4 分 口 2 分 


3. 项 目 目标 的 可 行 性 口 8 分 口 6 分 加 4 分 口 2 分 


4 项 目 主 要 建设 内 容 与 目标 的 一 致 性 口 8 分 口 6 分 团 4 分 口 2 分 


5. 考核 指标 的 合理 性 


口 10 分 口 8 分 口 6 分 回 4 分 口 2 分 


三 、 项 目 实施 基础 


6. 技术 路 线 或 方案 的 可 行 性 口 10 分 口 8 分 口 6 分 口 4 分 


口 10 分 口 8 分 口 6 分 口 4 分 
建议 资金 : 0 万 元 


总 体 评价 意见 


专家 意见 及 建议 : | | We | 
1 项 目 建设 方案 不 合 经， 软件 和 瞬 件 运行 平台 方案 设计 没有 分 析 ， 建 设 内 容 
与 已 有 信息 化 之 间 的 关系 没有 说 明 ， 系统 整体 设计 框架 要 详细 说 明 内 容 。 
2.UPS 设 备 没有 给 出 参考 价格 ， 另 外 ， 网 络 设备 超出 学 校 实 际 需求 。 

3. 项 目 社会 效益 较 好 ， 但 是 考核 指标 敬 少 生化 ;项 目 需求 分 析 需 要 细 化 。 


专家 签名 :xxx xx 年 xx 月 xx 日 


1 
注 :来 源 于 x x 市 委 网 信 办 


电子 政务 项 目 专家 评审 意见 表示 例 
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专家 意见 作为 专家 对 项 目 内 容 的 认 知 结果 ,是 知 
识 单元 的 物化 存储 ,其 思想 .观点 草 含 于 这 些 知 识 单元 
之 中 。 通 过 对 专家 意见 短文 本 的 挖掘 ,可 以 抽取 出 
其 中 的 知识 元 ,从 而 形成 知识 计量 的 基础 。 知 识 单元 
的 差异 在 于 知识 元 与 排列 逻辑 的 不 同 ,这 是 形成 类 比 
的 基础 。 专 家 特征 刻画 的 实质 就 是 实现 专家 的 类 比 。 
要 完成 这 一 类 比 , 首 移 需 要 从 类 比 源 中 抽象 出 某 种 隐 


含 的 属性 , 即 完成 知识 抽象 化 ;其 次 需要 将 “类 比 知识 
单元 ”结合 某 个 待 解决 问题 的 实际 进行 知识 创新 ,以 形 


成 类 比 后 的 新 产物 |。 

具体 到 本 文 的 问题 ,专家 意见 中 的 知识 元 挖掘 要 
经 过 两 个 步骤 :中 完成 知识 单元 的 表达 和 组 织 ,完成 从 
物理 层次 的 文本 单元 向 认 知 层次 的 知识 单元 转换 ;@) 
敌 成 知识 内 容 的 计量 ,完成 从 语法 层次 向 语义 层次 的 
转换 。 短 文本 意见 挖掘 的 难点 在 于 其 文本 特征 稀 琉 和 
-过 下 文 缺失 的 特点 ,导致 语义 特征 上 存在 逻辑 包含 关 


到 


;每 较 为 复杂 的 情况 。 要 有 效 实现 短文 本 意见 挖 气 ， 
开具 有 科学 的 知识 补充 与 知识 表示 方法 作为 支撑 。 
利 由 电子 政务 项 目 知识 概念 树 与 项 目 审批 知识 本 体 辅 

成 对 专家 意见 的 知识 获取 与 知识 聚合 ,构成 了 本 
mm 
傣 申 的 实体 等 元 素 均 由 国家 标准 及 对 电子 政务 项 目的 
相关 管理 政策 进行 标准 化 规范 “” 。 概 念 树 作为 目 


标 知识 语义 深刻 性 的 表示 方法 ,可 以 解决 专家 意见 中 
的 概念 包含 关系 语义 识别 与 评审 深刻 性 描述 等 问题 。 
项 目 审 批 知识 本 体 可 以 突破 概念 树 的 界限 ,将 部 分 专 
家 意见 中 涉及 的 、 概 念 树 无 法 映射 的 评审 知识 语义 通 
过 本 体 完成 语义 关联 ,进而 发 现 隐 性 知识 ,扩展 了 知识 
计量 的 边界 。 知 识 本 体 也 是 项 目 背景 知识 的 语义 规范 
和 知识 关联 依据 。 这 种 组 合 的 知识 表示 方法 为 问题 求 
解 提供 了 很 好 的 便利 性 。 
3.2 ”研究 框架 

本 文 研究 框架 包含 基于 专家 评审 意见 的 知识 获 
取 、 专 家 多 维特 征 刻画 ,多 维特 征 均衡 的 专家 组 推荐 三 
个 部 分 ,如 图 2 所 示 。 其 中 ,知识 获取 部 分 利用 实体 抽 
取 技 术 进 行 实体 语义 识别 ,形成 电子 政务 领域 实体 词 
库 。 在 语法 分 析 基 础 上 细 粒 度 拆 分 专家 意见 , 提取 
SAO( subject-action-object) 5 结构 化 知识 。 为 达成 知 
识 分 类 、 类 比 的 目标 ,利用 项 目 知识 概念 树 有 效 识别 专 
家 意见 中 的 知识 层次 并 解决 概念 冲突 问题 ,以 及 利用 
知识 本 体 关联 知识 ,挖掘 隐 性 知识 。 该 部 分 不 仅 在 词 
汇 层 ,句法 层 \ 语 义 层 进行 知识 挖掘 与 获取 ;而 且 利 用 
情感 分 类 中 被 广泛 应 用 的 RNN (循环 神经 网 络 )、 
LSTM( 长 短期 记忆 网 络 ) 及 其 对 应 的 双向 深度 学 习 模 
型 构建 情感 分 类 器 进行 训练 ,从 而 获取 专家 评审 意见 
中 的 情感 极 性 。 


sil 二 意见 挖 所 
>< ee | 人 | 电子 政务 领域 基于 领域 实体 的 语法 | 。 知识 获取 
四 意见 文本 > 人 实体 识别 分 析 和 SAO 结 构 识别 
CS 知识 更 新 | 
| “i 
知识 再 定位 “// 非 SAO 结 梅 化 
ks 知识 补充 与 知识 
© 知识 表示 | 
时 
电子 政务 领域 语义 层次 皮 撞 y 
PR SR rt nt | -P| 
概念 树 Bi-LSTM 模 型 
a | 情感 分 析 
| _| 电子 政务 领域 | 评价 特征 语义 识别 | 
| 知识 本 体 (精准 匹配 模糊 匹配 ) 意见 情感 标注 
| 获取 情感 强度 
1 
知识 分 类 专家 多 维 
Od a 定 V 才 训 疆 
P| 定义 专家 知识 结构 特征 刻画 
el 定量- 
a 专家 个 体 多 维特 征 刻画 
ee 多 维特 征 均衡 
J 知识 均衡 随机 抽取 全 
专家 库 | > 
候选 专家 组 


图 2 研究 框架 
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首先 使 用 开源 工具 Hanip 对 评审 意见 文本 初步 分 
句 .分 词 .词性 标注 、 去 除 停 用 词 ;其 次 融入 分 词 特征 
艺 .词性 特性 POS, 提升 模型 识别 效果 ,利用 投票 法 集 


地 保持 信息 之 间 的 内 在 关联 性 。 在 评审 意见 中 ,内 在 
语义 关联 性 主要 包含 SA( 主 谓 ) .AO( 谓 宾 )、SAO( 主 
请 宾 ) 三 种 ,通常 是 专家 对 审批 对 象 (多 为 主语 或 宾语 


成 HMM CRF 、BILSTM 、BILSTM-CRF4 种 模型 “抽取 
出 评审 意见 中 所 含 实体 ; 同时 形成 领域 实体 词 库 。 

对 多 主语 或 多 宾语 并 列 的 意见 名 进行 拆 分 ,利用 
依存 句法 分 析 获 取 SAO 结构 化 知识 ,将 其 作为 基础 语 
义 单元 来 表示 专家 意见 。SAO 是 一 种 从 文本 语 料 中 抽 
取 的 三 元 组 结构 ,在 包含 大 量 信 息 的 同时 ,还 可 以 有 效 


形式 ) 表 明 看 法 或 调整 建议 。 由 于 存在 语言 表述 不 规 
范 的 短文 本 意见 ,该 部 分 语法 分 析 效 果 不 佳 ,导致 SAO 
结构 化 知识 抽取 错误 而 无 法 识别 文本 中 的 内 在 语义 关 
系 。 为 解决 这 一 问题 ,本 文 将 评审 意见 中 出 现 的 主要 
问题 归 为 三 类 ,并 针对 性 地 自 定 义 如 下 规则 以 再 定位 
知识 ,其 示例 如 表 1 所 示 : 


表 1 专家 审批 意见 非 SAO 结构 化 知识 语义 分 析 


自 定义 规则 


定义 1: 原 句 进行 分 词 ` 词 性 筛选 ,定位 名 词 , 动 名 词 为 
概念 候选 词 ; 定 位 动词 ,形容词 为 修饰 性 候选 词 ,表示 内 
在 语义 关系 


定义 2: 主 语 从 名 (或 宾语 从 句 ) 的 SAO 结构 化 知识 作 
为 复合 句 的 主语 (或 宾语 ) , 补 全 复合 句 SAO 结构 化 知 


识 


定义 3: 将 两 者 的 宾语 合并 为 一 个 宾语 ,形成 新 SAO 结 


示例 
人 注 :知识 抽取 结果 以 “S/A/0" 表 示 
标定 的 依存 关系 过 于 复杂 以 ”1. 原 句 : 
及 错误 “该 项 目 方案 包括 将 多 个 运 维 服务 方案 合成 一 个 项 目 。” 
— 知识 抽取 结果 : 
~ 该 项 目 方案 /包括 /合成 项 目 
@ 禾 杂 语 句 存在 两 个 核心 依存 ”1. 原名 
谱系 合同 复印 件 作为 附件 放 到 申报 书 。 
< 十 知识 提取 结果 ; 
© 合同 复印 件 /作为 /附件 
© / 放 到 /申报 书 
@ 标 定 依存 关系 错误 ,名 词性 修 ”1. 原 句 : 
示 定 为 并 列 宾语 ,而 非 谓语 “减少 信息 化 建设 的 重复 投资 。” 


嫩 中 关系 知识 抽取 结果 : 
> QO@ /减少 /信息 化 建设 
A @ /减少 /重复 投资 


构 化 知识 ,将 其 内 在 语义 包含 关系 在 知识 中 体现 


2 


3GN 专家 多 维特 征 选 取 

会 专家 特征 选取 具有 明确 的 目标 约束 性 一 一 电子 政 
翁 顺 目 审 批 知 识 约 束 。 专 家 基于 自身 知识 结构 对 项 目 
做 旱 评 价 ,本 质 上 是 一 种 评价 主体 和 客体 间 的 知识 交 


TT 


工程 ,对 专家 知识 结构 的 广度 有 更 多 要 求 。 据 此 ,以 领 
域 概念 树 与 领域 知识 本 体 为 参考 ,定义 专家 知识 结构 
4 个 构成 元 素 以 进行 知识 分 类 ,如 表 2 所 示 : 

表 2 专家 知识 结构 定义 


专家 知识 结构 构成 元 素 所 对 应 的 项 目 要 素 


政务 知识 需求 ,建设 目标 ,政务 职能 ,政策 法 规 
技术 知识 技术 方案 ,建设 内 容 

管理 知识 实施 方案 .考核 指标 、 效 益 分 析 
预算 知识 经 费 预算 


借鉴 元 评价 理论 与 客观 元 评价 指标 ”的 基本 理 
论 ,定义 知识 水 平 .评审 深刻 性 情感 风格 .领域 专长 为 
专家 多 维特 征 刻画 指标 。 这 一 定义 综合 考虑 了 专家 知 
识 能 力 和 影响 专家 评审 的 心理 因素 以 及 相关 信息 的 可 
获取 性 。 专 家 特征 的 内 在 逻辑 解释 见 表 3 。 
3.4 多 维特 征 均衡 的 专家 组 推荐 

上 述 专家 特征 选取 针对 电子 政务 项 目 管理 目标 ， 


表 3 专家 多 维特 征 评价 指标 
特征 维度 定义 
知识 水 平 。 对 于 任 一 专家 知识 构成 元 素 ,计量 个 体 专家 评分 意见 、 情 
感 与 专家 组 整体 平均 评分 和 意见 情感 的 相对 偏差 514] ,以 
表征 专家 在 该 知识 构成 元 素 下 的 知识 水 平 
评审 深刻 性 [524] 对 于 任 一 专家 知识 构成 元 素 ,计量 个 体 专 家 意见 中 所 涉及 上 
领域 特征 词汇 出 现 频次 与 概念 树 的 分 布 层次 、 分 布 路 径 和 旨 
中 度 [24] ,以 表征 专家 在 该 知识 构成 元 素 下 的 知识 深度 
情感 风格 计量 专家 意见 综合 情感 强度 ,以 表征 专家 情感 风格 偏向 
领域 专长 ”” 专 家 的 多 次 评审 活动 累计 涉及 多 个 内 容 主 题 ,计量 项 目 内 
容 主题 ,以 反映 专家 对 相关 领域 的 熟悉 程度 [31 
参考 了 已 有 的 研究 方法 与 数据 的 可 获取 性 。 以 专家 组 
间 多 维特 征 的 计量 结果 为 依据 实现 基于 特征 均衡 的 专 
家 组 推荐 在 理论 上 可 以 支撑 本 文 目标 的 实现 。 在 随机 
抽取 的 基础 上 ,本 文 的 推荐 方法 不 仅 考 虑 了 候选 专家 
组 的 领域 专长 与 待 审 项 目 内 容 具 有 更 好 的 贴近 度 ; 而 
且 以 专家 库 全 部 专家 知识 广度 与 深度 计量 结果 的 平均 
水 平 作 为 推荐 依据 。 需 要 说 明 的 是 ,在 一 定数 量 专 家 
所 构成 的 专家 库 基 础 上 ,本 文 的 策略 可 以 确保 候选 专 
家 组 的 可 产生 性 与 非 唯一 性 ,支持 管理 者 对 专家 组 的 


二 


A 


筋 选 。 
3.4.1 领域 相关 性 评估 


通过 LDA 模型 获取 待 评审 项 目的 主题 概率 ,并 与 
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专家 领域 计算 主题 相似 度 可 以 得 到 专家 与 待 评审 项 目 
领域 相关 度 Sim(V ,Vs ) ,该 值 越 大 ,表明 专家 与 待 审 
项 目的 领域 相关 性 越 高 ， 计算 方法 如 公式 (1) 所 示 。 
其 中 V, 表示 待 评审 项 目 P, 的 主题 特征 癌 量 ,Ts 表示 
专家 庙 的 主题 特征 向 量 Vs 的 第 t 主题 下 的 平均 概率 ， 
计算 方法 如 公式 (2) 所 示 ,M 表示 专家 所 审 项 目 数 


三 


县 o 


2 Xx》 
0 


TT 


t=1 = 


公式 (1) 


1 
二 ,二 一 De J 


3.4.2 知识 均衡 随机 抽取 
专家 组 间 知 识 水 平 的 均衡 实际 上 是 通过 对 组 内 各 
专家 的 知识 聚合 来 实现 的 。 具 体 方法 为 :首先 计算 
总 如 库 中 各 专家 针对 表 2 中 4 个 维度 知识 元 素 的 知识 
水 生 与 评审 深刻 性 均值 , 记 为 e, 与 es, (ie | 政务 知识 ， 
识 ,管理 知识 ,预算 知识 | ) 作为 阔 值 ;四 将 上 一 
领域 相关 度 作为 权重 w 融入 随机 抽取 方法 
ee 位 (3<m< 
9@W,m 为 奇数 ) 专家 构成 候选 专家 组 ,分 别 计算 候选 
多 组 各 知识 结构 的 知识 水 平 与 评审 深刻 性 均值 ,如 
困 和 超过 阔 值 w 与 w ,保留 本 次 抽取 结果 ,否则 重新 
进行 随机 抽取 。 


4>< 实 证 分 析 


4, 息 数据 源 与 实验 环境 
本文 以 2017 年 -= 2018 年 214 个 省 级 电子 政务 项 
日 轧 家 组 评审 意见 作为 基础 语料库 ,共计 1 211 条 意 


公式 (2) 


见 。 领 域 本 体 基 于 Cypher 语言 存储 于 Neo4j 中 ;实验 
均 基 于 Python 语言 在 Windows 10 环境 下 实现 。 实 验 
中 利用 Google 开源 深度 学 习 框 架 Tensorflow 及 高 级 
API keras 完成 领域 实体 抽取 ;利用 开源 工具 Hanlp 
提供 的 pyhanlp 包 对 语句 进行 依存 句法 分 析 并 完成 结 
构 化 知识 获取 ;利用 Echarts 工具 软件 进行 结果 的 可 视 
化 呈现 。 

4.2 构建 项 目 知 识 概念 树 与 项 目 审批 知识 本 体 
4.2.1 电子 政务 项 目 知 识 概念 树 

根据 电子 政务 项 目 评审 指标 要 求 以 及 知识 结构 定 
义 , 对 本 文 的 项 目 知 识 概念 树 做 出 以 下 约束 : 

(1) 概 念 树 的 根 节点 为 项 目 建设 方案 
为 第 0 层 概念 ; 

(2) 概 念 树 的 第 1 层 概念 为 电子 政务 项 目 建设 的 
八大 要 素 :需求 .建设 目标 .技术 方案 .建设 内 容 、 实 施 
方案 考核 指标 ,效益 分 析 经费 预算 ; 

(3 ) 概 念 树 中 节点 的 深刻 性 权重 wi 的 约束 条 件 : 
子 特征 概念 的 深刻 性 权重 大 于 父 特征 概念 深刻 性 权 
重 *1。 

在 专家 指导 下 , 自 顶 向 下 划分 概念 层次 、 提 取 概 
念 ,依据 哈尔滨 工业 大 学 同义词 词 林 扩 展 版 ,合并 同 义 
ee 领域 概念 树 如 图 3 所 示 ,co - cs 表示 

念 ,co 为 树 的 根 节点 ,syn 表示 与 之 对 应 概念 的 同 义 
， 向 父 概念 的 箭头 表示 父子 概念 的 层次 
关系 。 概 念 树 的 广度 与 根 节点 概念 的 内 涵 丰 富 性 


总 概念 , 称 


正 相 关 , 而 深度 则 与 语义 内 涵 的 针对 性 正 相 关 。 遍 历 
概念 树 则 可 实现 对 专家 意见 中 不 同 概念 层次 的 语义 


识别 。 


经 费 预 算 
(Cs) 


基础 设施 
(C,,) 


时 | 人 个 人 和 有 环境 
了 Ts 
| 政务 网 | [服务 器 | [设备 | | 信息 资源 安全 软件 


= 


等 级 保护 
测评 费 


基础 设施 系统 | | 行政 职能 系统 


务 外 网 | | 歼 务 内 网 | 网络 设 和 医 江 设备 


门户 网 站 系统 信访 服务 系 纲 


PC | | 备份 一 体 机 | | 传感器 | | 电视 


行政 处 罚 系统 


行政 审批 系统 


Email 系 细 OA 系统 
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4.2.2 电子 政务 项 目 审批 知识 本 体 

电子 政务 项 目 审批 知识 本 体 ( 见 图 4) 对 于 背景 知 
识 的 表示 则 更 加 完整 ,通过 关联 专家 与 项 目 之 间 的 知 
识 元 ,获取 专家 评审 依据 一 一 政务 职能 和 政策 法 规 隐 
性 知识 ,补充 专家 知识 结构 对 应 的 项 目 要 素 内 容 , 完 善 


务 项 目 包括 项 目 要 素 子 类 ,政务 职能 包含 政务 子 职能 
子 类 。 表 4 定义 了 本 体 中 概念 间 的 语义 关系 ;以 政务 
职能 知识 为 例 , 公 式 (3) 定 义 了 专家 意见 通过 项 目 要 
素 关 联 政务 职能 的 知识 关联 规则 。 后 续 将 关联 得 到 的 
政务 职能 知识 与 政策 法 规 知 识 分 类 到 政务 知识 中 ( 见 


知识 分 类 与 聚合 。 该 本 体 包括 电子 政务 项 目 `. 评 审 意 


见 .审批 环节 政策 法 规 , 政 务 职能 五 大 类 ,其 中 电子 政 


表 2) ,补充 知识 结构 中 的 项 目 背 景 知识 。 


Class 
项 目 政务 职能 
LINK_BELONGC_TO ART K OF OPINION BELONG TO 
ADM_LA 审批 环节 一 ownamowrm 一 项 目 要 素 上 -ADJUSIMENT BELONG TO- 评审 意见 SUB_OF 


BUD OF CO! 证 PRO_O Eee 


~ EE | 建设 内 容 技术 方案 | 考核 指标 | 政务 子 职能 | 

CO) HARD OF SOFT OF ENV_OF COM OF 

“= 

< 十 硬件 系统 | | 软件 系统 | | 环境 系统 通讯 系统 

©O MODUAL OF 

© 功能 FUNC_DUTY- 

< 十 

©O 图 4 电子 政务 项 目 审批 知识 本 体 

ae 

CN 表 4 念 间 语 义 关系 描述 Func. Subfunction 公式 (3) 


通用 关系 名 语义 关系 描述 
LINR_BELONG_TO( 属于 审批 环节 ) 项 目 与 审批 环节 之 间 的 关系 

上 MENT_OF( 包含 项 目 要 素 ) 项 目 与 项 目 要 素 之 间 的 父子 类 关系 
售 仿 ION_BELONG_TO( 必 于 项 目 ) 。 。 评审 意见 与 项 目 之 问 的 关系 


( 民 pyw_LAw( 属 于 币 批 环 地 ) 政策 法 规 与 审批 环节 之 间 的 关系 

DO ee 属于 审批 环节 ) ”项 目 要素 与 审批 环节 之 间 的 关系 

-CADJUSTMENT_BELONG_TO 评审 意见 与 项 目 要 素 之 间 的 关系 
(属于 项 目 要 素 ) 


FUNC_DUTY( 属于 子 职能 ) 项 目 要 素 与 政务 子 职能 之 间 的 关系 
SUB_OF( 包含 政 务 子 职能 ) 政务 职能 与 子 职能 之 间 的 父子 类 关系 


BUD_OF( 包含 项 目 预 算 ) 项 目 要 素 与 项 目 预算 之 间 的 父子 类 关系 
CONS_OF( 包含 建设 内 容 ) 项 目 要 素 与 建设 内 容 之 间 的 父子 类 关系 
PRO_OF (包含 技术 方案 ) 项 目 要 素 与 技术 方案 之 间 的 父子 类 关系 
TAR_OF( 包 含 考核 指标 ) 项 目 要 素 与 考核 指标 之 间 的 父子 类 关系 


HARD_OF( 包 含 硬件 系统 ) 建设 内 容 与 硬件 系统 之 间 的 父子 类 关系 
SOFT_OF( 包 含 软件 系统 ) 建设 内 容 与 软件 系统 之 间 的 父子 类 关系 
ENV_OF( 包含 环境 系统 ) 建设 内 容 与 环境 系统 之 间 的 父子 类 关系 
COM_OF( 包 含 通信 系统 ) 建设 内 容 与 通信 系统 之 间 的 父子 类 关系 
MODUAL_OF( 包含 功能 ) 软件 系统 与 功能 之 间 的 父子 类 关系 


Opinion( a) 
ADJUSTMENT_BELONG_TO( Element, Opinion ) 
FUNC_DUTY( Element, Subfunction ) 
Opinion_Func( IADJUSTMEBT_BELONG_TO ( Opin- 
ion( a), Element). Element, Subfunction) MN VY Opinion _ 


其 中 4a 为 某 环 节 的 专家 评审 意见 SAO 结构 化 知 
识 变 量 ,通过 ADJUSTMENT_BELONG_TO 关系 获取 评 
意见 a 所 关联 的 项 目 要 素 , 通 过 FUNC_DUTY 关系 
获取 其 项 目 要 素 所 属 的 子 职能 实体 。 

最 终 ,评审 意见 a 与 政务 职能 之 间 的 知识 关联 结 
果 表 示 为 Opinion_Func( I ADJUSTMENT_BELONG_TO 
( Opinion (a) , Element). Element, Subfunction), V Opin- 
ion_Func. Subfunction， 表示 该 关系 下 的 所 有 政务 子 职 
能 。 

4.3 专家 评审 意见 挖掘 与 知识 获取 

利用 集成 模型 ”抽取 专家 评审 意见 文本 中 的 领 
域 实 体 ,通过 人 工 筛 选 去 重 , 共 获得 246 个 准确 领域 实 
体 ,同义词 扩展 后 形成 领域 实体 库 ,共计 324 个 。 

在 领域 实体 词 库 的 基础 上 ,利用 Hanlp 分 析 专 家 
意见 句法 与 内 在 语义 关系 , 细 粒 度 拆 分 专家 意见 ,提取 
SAO 结构 化 知识 ,完成 知识 分 类 。 其 中 主语 S 和 宾语 
0 主要 表示 被 评审 对 象 ,一 般 为 名 词 . 动 名 词 等 ,这 些 
词 或 词组 与 项 目 概念 语义 紧密 相关 。 因 此 ,针对 主语 
和 宾语 ,采用 精准 匹配 和 基于 文本 最 大 相似 度 的 模糊 
匹配 方法 实现 基于 概念 树 的 语义 识别 ,在 得 到 针对 性 
强 的 细 粒 度 概念 层次 的 同时 ,能 够 归结 到 概念 树 第 一 


下 
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层 概念 节点 下 以 完成 知识 分 类 。 
综合 专家 个 体 意见 与 专家 组 综合 意见 , 共 获 取 
1 752 个 SAO 结构 化 知识 。 在 专家 指导 下 人 工 预 先 标 


为 指标 ,计算 单项 目 SAO 结构 化 知识 评审 特征 语义 识 
别 正确 率 ( Project_S) ,其 大 于 阔 值 的 项 目 数量 占 比 即 
为 项 目 专家 组 综合 意见 语义 识别 结果 有 效率 。 根 据 项 


注 评审 特征 语义 概念 ,利用 标注 结果 与 不 同 靖 值 的 算 
法 结果 进行 对 比 , 在 保证 概念 准确 的 条 件 下 选择 最 大 
闵 值 ,最 终 确定 模糊 匹配 阐 值 为 0.55。 为 有 效 检 验 语 
义 识别 结构 ,定义 两 种 检验 方法 :DSAO 结构 化 知识 语 
义 识别 结果 以 准确 率 (P) ` 召 回 率 (R) 和 Fl 值 CFl ) 为 
指标 ;@) 专 家 组 综合 意见 语义 识别 结果 以 有 效率 (0U) 


项 目 中 评审 特征 语义 识别 正确 的 540 结构 化 知识 数量 


目 专家 评审 意见 数据 集 特点 ,在 专家 的 指导 下 设 定 
Project_S 阔 值 为 0.75 ,计算 方法 如 公式 (4)(5) 所 示 。 
为 有 效 检验 知识 分 类 结果 ,根据 概念 分 布 路 径 ,分 别 将 
人 工 预先 标注 的 评审 特征 语义 概念 与 算法 结果 归结 到 
概念 树 第 一 层 概念 节点 下 ,以 分 类 准确 率 (C_P) ,分 类 
召回 率 (C_R) 和 分 类 让 值 (C_F1 ) 作 为 实验 指标 。 


站 
Project_S = 


= Project _S 大 于 阔 值 的 项 目 数量 x 100% 


项 目 总 数量 


公式 (5) 
T i | 3 AAA 
wy 表 S 评审 特征 分 词语 义 识别 实验 结果 
0) 项 目 综合 
SEO 结构 化 知识 语义 识别 结果 ”意见 语义 ”SAO 结构 化 知识 分 类 结果 
二 了 识别 结果 
Cpyd R/% Fl/% U/% C Pr CR/% CFl/% 
已 
本 8 86.01 89.91 81.42 97.08 88.49 92.58 


TT 
oe 果 如 表 5 所 示 , 其 中 有 效率 为 81. 42% ,说 明 大 
部 和 电子 政务 项 目 专 家 组 评审 意见 内 容 均 可 按照 该 方 
淡 蒋 气 评 价 特征 语义 。 另 外 ,SAO 结构 化 知识 语义 识 
刚强 果 的 准确 率 P 达到 94. 18% ,Fl 达到 89.91% ,也 
有 辫 证 明了 该 方法 可 以 较 好 地 给 评审 特征 赋予 概念 知 
这 舍 和 于 知识 分 类 结果 ,C_P、C_R、C_FI1 均 略 大 于 语 
义 跨 别 结果 ,由 此 可 见 , 该 方法 虽然 会 因为 概念 语义 的 


单项 目 S40 结构 化 知识 总 数 


x100% 公式 (4) 


细 粒 度 导致 识别 有 误 , 但 却 不 影响 粗 粒 度 的 父 概念 知 
识 分 类 。 召 回 率 R 和 C_R 相对 较 低 的 原因 是 :中 意见 
中 存在 无 法 识别 的 项 目 概念 ,需要 利用 领域 本 体 才能 
识别 ;@ 少 部 分 意见 语句 过 于 复杂 ,形成 的 SAO 结构 
化 知识 语义 不 完整 ,可 以 利用 表 1 自 定 义 规则 进一步 
识别 ; 思 概 念 树 构建 不 完善 ,不 可 能 前 期 完全 覆盖 项 目 
知识 的 全 部 概念 ,可 以 对 概念 树 进行 动态 扩充 和 维护 ， 
以 提高 召回 率 。 

以 评审 意见 SAO 结构 化 知识 为 数据 ,以 分 类 精度 
为 实验 指标 。 比 较 实 验 结 果 , RNN 模型 85. 37%， 
LSTM 模型 86. 79% ,BIRNN 模型 89. 15% ,而 BILSTM 
模型 效果 最 好 ,精度 达到 90. 09%。 由 此 可 见 , 选 取 
BILSTM 模型 可 以 有 效 判 定 专家 意见 情感 倾向 。 评 审 
特征 语义 与 情感 强度 部 分 结果 如 表 6 所 示 : 


表 6 知识 结构 


[= 
《3 ”5A0 结构 化 知识 评审 特征 知识 概念 层级 顶层 概念 (项 目 要 素 ) ”情感 倾向 情感 强度 
建设 目标 /明确 / 建设 目标 1 建设 目标 正 向 1.91 
技术 路 线 /不 明确 / 技术 路 线 2 技术 方案 负 向 -1.28 
备份 一 体 机 数量 /过 多 / 备份 一 体 机 6 建设 内 容 负 向 -1.47 
项 目 设备 调试 费用 /过 高 / 设备 调试 费 3 经 费 预算 负 向 -2.75 
/没有 /完整 拓扑 结构 图 拓扑 结构 图 3 技术 方案 负 向 -1.83 
业务 需求 /清晰 合理 / 业务 需求 2 需求 正 向 0 
考核 指标 /需要 /具体 化 验收 指标 1 考核 指标 正身 1.02 
部 分 功能 建设 /具有 /必要 性 功能 建设 4 建设 内 容 正 向 3.6 
水 质 统计 分 析 / 细 化 /方案 水 质 统计 分 析 2( 本 体 映射 为 子 职能 -水 资源 政务 职能 负 向 -0.81 
管理 , 自 定义 层级 为 2) 
4.4 个 体 专 家 多 维特 征 刻 画 与 可 视 化 展示 识 ,技术 知识 ,管理 知识 ,预算 知识 ! 公式 (6) 
4.4.1 知识 水 平 与 评审 深刻 性 | 公式 (7) 
(1) 知 识 水 平 。 依 据 表 3 中 知识 水 平定 义 ,该 测度 | 各 
一 FL 、 人 ， 2 K, 
指标 设计 具体 如 下 : 0,= 5 = A pe 公式 (8) 


Level, = 1 -Too * DD; +B;* 0;) ,te | 政务 知 
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华 斌 ， 吴 诺 ， 贺 欣 . 专家 个 体 多 维特 征 刻画 与 专家 组 均衡 推荐 研究 [可 .图 书 情报 工作 ,2021,65(23 ) :538 -69. 


其 中 马 = 二 六 wm 表示 本 次 评审 活动 的 专家 组 


人 数 。 

Level, 为 在 知识 结构 元 素 方面 专家 的 知识 水 平 
指标 ,通过 权重 w 和 控制 打分 偏差 和 意见 偏差 的 重 
要 性 。n 表示 与 该 知识 构成 元 素 所 对 应 的 项 目 要 素 个 
数 。 为 打分 偏差 系数 ,表示 对 于 项 目 要 素 j, 专 家 打 
分 习 与 所 有 专家 均 分 的 相对 偏差 。0, 为 意见 偏差 
系数 ,表示 对 于 项 目 要 素 j, 个 体 专家 的 意见 平均 情感 
强度 与 专家 组 整体 平均 情感 强度 的 相对 偏差 ,sui .sai 
分 别 表示 个 体 专家 专家 组 对 于 项 目 要素 j 的 意见 情 
感 强度 ,Ki 、K, 分 别 是 属于 项 目 要素 j 的 个 体 专 家 与 专 
家 组 意见 数量 。 

二 一 (2) 评审 深刻 性 。 专 家 越 具 有 深刻 性 的 评审 意 
见 3 越 能 体现 出 其 掌握 电子 政务 项 目 建设 所 需 的 实际 
误 。 因 此 ,基于 项 目 知识 概念 树 语 义 层次 性 的 专家 
评 罕 深刻 性 指标 及 其 测度 方法 ,可 以 刻画 专家 的 知识 


D2 


“专家 评审 深刻 性 度量 从 以 下 方面 进行 描述 2 :QD 
姐 溃 专家 意见 中 所 涉及 的 电子 政务 领域 特征 词汇 量 
oo 
大 权能 较 大 ;@ 专家 意见 中 某 些 特征 词 出 现 的 频次 较 
毅 出 专家 对 该 特征 所 涉及 的 概念 较为 明确 ,理解 较 
深 3@) 特 征 词 分 布 于 概念 树 的 层次 .分布 路 径 和 集中 度 
(强生 的 出 度 ) 决 定 了 所 评审 特征 语义 内 容 的 具体 、 明 
ee 
或 驳 识 构成 有 所 侧重 。 

-已 其 中 PF 为 评审 特征 集合 ,RE, 和 RE,-count 分 别 为 
意见 中 属于 某 一 知识 结构 的 评审 特征 集合 及 其 评审 特 
征 数 ,ft-eount 为 评审 意见 中 第 i 个 评审 特征 的 数量 。 

定义 工 :专家 评审 意见 中 属于 知识 结构 元素 的 评 

审 特征 的 频数 为 : 


rf, — count, 


Tc, -fre RE,- count ? ie | 政务 知识 ,技术 知 
2 rf, — count, 
识 , 管 理 知 识 , 预 算 知 识 | 公式 (9) 


定义 2: 评 审 特征 c 的 集中 度 为 评审 特征 e 的 下 位 
词 c-son 在 评审 意见 中 出 现 的 次 数 与 下 位 词 集合 元 素 
的 数量 之 比 。 因 此 ,给 出 专家 意见 中 评审 特征 的 集 
中 度 如 下 : 


17f, = son | 
rc, — center; = 一 一 一 一 


No rf, -so € RF,\rf, — 
t 2 


son, EeE PF 公式 (10) 
定义 3 :评审 深刻 性 为 意见 中 所 有 评审 特征 词汇 


在 领域 特征 概念 树 中 出 现 的 次 数 、 集 中 度 所 反映 出 来 
的 深刻 性 之 和 。 其 计算 公式 如 下 : 


RF, ~ count 


RDep, = Qa x re, —fre; Xxw, +B x 2 re, 一 cen- 
rowerr, Qa+Ba=1 公式 (11) 
(3) 可 视 化 展示 与 分 析 。 设 定 两 种 偏差 权重 w ,B， 
为 0.5 ,综合 平均 专家 每 次 评审 的 知识 水 平 , 得 到 专家 
整体 知识 结构 水 平 ;通过 概念 树 语义 层次 识别 对 专家 
所 有 评审 意见 进行 深刻 性 计算 得 到 专家 评审 深刻 值 ; 
经 领域 专家 确定 ,针对 上 下 位 父子 关系 ,将 子 概念 节点 
的 权重 确定 为 其 对 应 父 概念 节点 权重 的 1.2 倍 ,并 设 
定 两 种 深刻 性 度量 权重 w, \B, 均 为 0.5。 为 清晰 了 解 
同一 名 专家 知识 广度 与 深度 ,在 同一 张 雷 达 图 中 呈现 
二 者 的 知识 结构 分 布 情况 。 以 专家 A、 专家 B 为 例 , 进 
行 说 明 与 分 析 。 专 家 A 知识 结构 的 水 平和 评审 深刻 性 
如 图 5 所 示 , 从 图 中 可 以 看 出 ,专家 A 的 知识 水 平 与 评 
审 深刻 性 一 致 性 较 强 。 由 图 6 可 见 ,专家 A 的 各 项 知 
识 水 平和 评审 深刻 性 均 高 于 专家 库 均值 ,评审 能 力 较 
为 突出 。 而 由 图 7 可 知 ,专家 B 的 技术 知识 和 管理 知 
识 水 平 低 于 专家 库 均值 , 相 应 地 其 评审 深刻 性 也 较 低 。 
可 见 , 专 家 B 的 知识 结构 不 均衡 ,能 力 偏 向 性 较 强 。 


专家 个 人 知识 水 平 与 评审 深刻 性 
加 一 一 知识 水 平 四 - - -评审 深刻 性 


ter, X w, 


政务 知识 


技术 知识 


预算 知识 


管理 知识 
图 5 专家 A 的 知识 水 平 与 评审 深刻 性 


4.4.2 情感 风格 

专家 情感 通过 评审 意见 传递 ,依据 表 3 中 情感 风 
格 定义 ,专家 意见 总 情感 强度 REmo 的 计算 方法 如 公 
式 (12) 所 示 , 其 中 是 专家 已 审 项 目的 所 有 意见 总 
数 ,sk 表示 专家 意见 k 的 情感 强度 。 


公式 (12) 


以 柱状 图 的 可 视 化 方式 呈现 多 名 专家 评审 情感 风 
格 , 如 图 8 所 示 。 可 见 专家 Xl .X4 .X9 .X11 .X16 .X19 
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专家 A 知识 水 平 
国 一 一 专家 个 人 知识 水 平 国 - - - 知识 水 平均 衡 值 


政务 知识 


专家 B 知 识 水 平 
国 一 一 专家 个 人 知识 水 平 国 - - - 知识 水 平均 衡 什 


政务 知识 


202304.00413v1 


管理 知识 


chinaXiv 


负 情 感 较为 强烈 ,言语 较为 直 白 ,以 多 直接 批评 调整 的 评 
审 风格 为 主 ;专家 X2 、X5 .X7 、X8 .X18 正 情 感 与 负 情感 较 
一 致 ,言语 较 委婉 积极 ,以 多 鼓励 肯定 项 目 建 设 的 评审 风 
格 为 主 \ 以 修改 调整 性 意见 为 辅 ,对 项 目 建设 进行 指导 。 
核实 专家 原始 意见 ,也 符合 上 述 情感 风格 的 描述 。 
4.4.3 领域 专长 

由 于 LDA 主题 模型 方法 成 熟 且 有 效 ,本 文选 用 该 
方法 ,以 所 有 评审 项 目 题目 .材料 摘要 作为 数据 源 , 对 
被 评审 项 目 进行 内 容 主题 分 析 , 以 此 反映 专家 所 涉及 
的 项 目 领域 。 主 要 步骤 如 下 :J 进行 数据 清洗 、 去 除 
标点 符号 .数字 ,过 滤 停 用 词 ; 去 除 常用 的 软件 描述 用 
词 ,以 提升 LDA 对 于 政务 ,项目 功能 、 职 能 的 主题 表征 
度 ( 如 :模块 .业务 .平台 .系统 等 ) ;完成 词 袋 构建 。 
G@) 利用 困惑 度 对 数据 集 确定 主题 个 数 提升 模型 效果 ， 
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专家 A 评审 深刻 性 
国 一 一 专家 个 人 评审 深刻 性 国 - - -评审 深刻 性 均衡 值 


政务 知识 


管理 知识 


图 6 专家 A 知识 水 平 .评审 深刻 性 与 专家 库 均 值 对 比 


专家 B 评 审 深 刻 性 
国 一 一 专家 个 人 评审 深刻 性 男 - - -评审 深刻 性 均衡 值 


政务 知识 


© (全 


管理 知识 


图 7 专家 B 的 知识 水 平 \ 评 审 深刻 性 与 专家 库 均值 对 比 


同时 利用 LDA 模型 获得 存 有 主题 与 词 以 及 文档 与 主 
题 之 间 关 系 的 和 矩阵。G) 通过 对 该 矩阵 数据 进行 解析 ， 
获得 每 个 主题 下 词 的 分 布 情况 以 及 每 个 文档 所 属 主题 
的 情况 ,最 后 统计 每 位 专家 各 已 审 项 目 所 属 主题 的 概 
率 , 分 析 专 家 的 过 往 评审 内 容 主 题 。 

计算 困惑 度 并 通过 实验 结果 多 次 迭代 调整 确定 主 
题 个 数 为 70 ,经 LDA 模型 内 容 主 题 分 析 后 ,统计 专家 每 
一 个 已 审 项 目的 最 大 概率 主题 ,进一步 对 主题 词 与 权重 
进行 词 云 展 示 。 以 专家 A 为 例 ,已 审 26 个 项 目 ,其 中 4 
个 项 目 属于 “学 生 教师 心理 救助 辅导 ”主题 ,4 个 项 目 属 
于 “案件 预警 视频 指挥 "主题 ,4 个 项 目 主题 属于 “案件 
执法 监督 与 文书 查询 ”主题 。 对 频数 较 大 的 主题 词 进 行 
词 云 展示 ,如 图 9 所 示 , 可 以 明显 看 出 专家 A 评审 领域 
偏向 于 “案件 “预警 “视频 "等 电子 政务 项 目的 建设 。 
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专家 情感 风格 


2.00 

1.50 

1.00 

0.50 | 

0.00 | 中 


X7 X8 X9 X10 X11 X12 X13 X14 X15 X16 X17 X18 X19 


Xl 人 X3 X5 X6 
下 情感 均值 043 218 083 043 207 1.84 2.37 14! 000 159 000 194 120 157 194 000 149 228 0.00 
别人 情感 均值 177 2.59 1.68 2.68 1.53 | 241 | 224 0972 | 229 | 262 | 300 | 267 | 210 | 236 | 265 | 230 | 270 | 204 | 2%74 
看 正 情感 均值 踢 负 情感 均值 


图 8 专家 情感 风格 


办 案 : 视 ms: > 
/由 步 

有 J A yi 由 检 ]1 
A 图 9 专家 A 评审 领域 词 云图 


4. 完 专家 组 多 维特 征 均衡 推荐 结果 

在 实例 化 前 述 专 家 特征 刻画 方法 的 基础 上 ,实现 

多 维特 征 均 衡 的 专家 组 推荐 。 在 实际 应 用 中 , 需 
要 索 分 考量 多 项 目 同时 段 评审 ,专家 人 才 库 的 有 效 使 
用 锯 . 专 家 精力 等 因素 。 为 验证 本 文 抽取 方法 在 实际 
应 用 中 的 有 效 性 ,在 单一 项 目 专 家 组 推荐 验证 的 基础 
上 ,增加 多 项 目 并 行 的 专家 组 推荐 验证 。 选 取 网 信 专 
家 库 中 的 50 位 专家 , 设 定 专家 组 抽取 人 数 为 5 人 。 
4.5.1 单一 项 目 专家 组 多 维特 征 均衡 推荐 

为 验证 多 维特 征 均衡 的 单一 项 目 专家 组 推荐 结 
果 , 利 用 程序 进行 100 次 仿真 抽取 ,结果 如 表 7 所 示 ， 
后 两 列 为 被 抽取 的 专家 编号 。 在 相同 情况 下 可 视 化 比 
较 纯 随 机 抽取 与 多 维特 征 均衡 抽取 结果 ,直观 展示 方 
法 的 有 效 性 。 

以 第 006 次 抽取 为 例 ,经 过 多 维特 征 均衡 抽取 / 纯 
随机 抽取 得 到 的 候选 专家 组 知识 水 平均 值 与 评审 深刻 
性 均值 如 图 10 短 虚 线 /点 虚线 所 示 , 专 家 库 知 识 水 平 
与 评审 深刻 性 均值 如 图 10 实 线 所 示 。 可 以 看 到 ,均衡 
推荐 的 专家 组 整体 在 4 个 知识 构成 元 素 上 的 知识 水 平 
均值 与 评审 深刻 性 均值 都 等 于 或 高 于 专家 库 均 值 , 达 


表 7 抽取 结果 对 比 


抽取 次 数 纯 随 机 抽取 结果 多 维特 征 均 衡 抽 取 结果 

001 19, 8, 20, 11, 21 16, 42, 28, 35,6 
002 20, 21, 1, 6, 17 1,2,6,4,7 

003 38, 48, 50, 39, 29 6,19,7,13,17 
004 17, 11, 15, 13, 1 40, 25, 26, 24, 6 
005 6, 34, 47, 49, 8 4, 15, 25, 44, 50 
006 3, 8, 10,17,5 16, 5, 6, 15, 13 
007 1, 2, 13, 22, 17 15, 37, 39, 35, 6 


到 了 平均 水 平 ,而 采用 纯 随 机 推荐 的 专家 组 在 技术 、 管 
理 \ 预 算 3 个 知识 构成 元 素 上 的 知识 水 平均 值 均 低 于 
专家 库 均值 ,虽然 该 组 评审 深刻 性 在 管理 知识 上 高 于 
专家 库 均值 ,但 其 他 三 个 知识 构成 元 素 上 都 较 大 程度 
低 于 专家 库 平 均 标 准 。 更 进一步 ,分 别 列 出 两 组 候选 
专家 的 5 位 专家 详细 数据 ,如 表 8 所 示 。 结 合 表 8 可 
以 分 析 得 出 ,经 过 均衡 抽取 得 到 的 6 号、15 号 专家 在 
技术 知识 上 具有 和 较 高 水 平和 深刻 性 ,弥补 了 16 号 专家 
在 该 知识 上 的 不 足 ;6 号 .13 号 .15 号 专家 在 管理 知识 
上 弥补 了 5 号 和 16 号 专家 的 不 足 。 专 家 之 间 实 现 了 
知识 互补 。 相 比 之 下 , 纯 随 机 抽取 到 的 3 号 、5 号 、8 
号 .10 号 17 号 专家 各 知识 元 素 的 水 平 与 深刻 性 参差 
不 齐 ,知识 互补 程度 较 低 ,组 内 的 均衡 度 较 差 。 由 此 可 
得 ,均衡 抽取 方法 较 纯 随机 抽取 增加 了 对 知识 均衡 与 
互补 性 的 考虑 。 

此 外 ,应 用 纯 随机 函数 需要 在 很 长 时 期 内 才能 使 每 
位 专家 抽 中 的 次 数 趋 于 均衡 ,而 在 较 短 时 间 内 是 无 法 实 
现 的 ”。 观 察 表 8 可 以 发 现 ,融入 评审 领域 相关 度 的 均 
衡 抽取 不 仅 能 够 提升 专家 组 成 员 与 待 评 项 目 所 涉及 领 
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域 的 贴近 度 ,而 且 并 不 关联 专家 已 审 项 目 数量 ,在 一 定 | 程度 上 可 以 消除 纯 随 机 抽取 带 来 的 次 数 不 均衡 问题 。 


均衡 抽取 / 纯 随 机 抽取 专家 组 知识 水 平 
国 - - -均衡 随机 抽取 -知识 水 平 国 --- 随机 抽取 -知识 水 平 
国 一 一 专家 库 均衡 值 
政务 知识 


技术 知识 


预算 知识 ”技术 知识 


均衡 抽取 / 纯 随 机 抽取 专家 组 评审 深刻 性 
加 - - -均衡 随机 抽取 -评审 深刻 性 妈 --- 随机 抽取 -评审 深刻 性 
国 一 一 专家 库 均衡 值 


政务 知识 


预算 知识 


管理 知识 管理 知识 

本 
~ 10 第 006 次 均衡 抽取 / 纯 随 机 抽取 专家 组 知识 水 平 、 评 审 深刻 性 对 比 
一 表 8 第 006 次 均衡 抽取 / 纯 随 机 抽取 专家 组 组 内 专家 详情 
©S pe 有 ee ee 与 待 审 项 目 的 ”已 审 
© 政务 技术 管理 预算 政务 技术 管理 预算 领域 相关 度 项 目 数 
在" 次 均衡 抽取 专家 组 5 0.650 0.827 0.499 0.715 0.500 0.543 0.500 0.500 0.749 7 
© 6 0.631 0.949 0.756 0.697 0.608 1.251 0.628 0.515 0.483 36 
6 13 0.628 0.539 0.784 0.584 0.531 0.614 0.500 0.500 0.484 8 
EN 15 0.472 0.905 0.684 0.830 0. 864 0.844 0.720 1.412 0. 650 11 
© 16 0.590 0.287 0.433 0.681 0.857 0.621 0. 000 0.500 0.496 3 
的 0p6 次 纯 随机 抽取 专家 组 ” 3 0.511 0.734 0. 690 0.260 0.500 0.706 0.720 0.500 0.794 3 

的 5 0. 650 0. 827 0.499 0.715 0.500 0.543 0.500 0.500 0.749 7 

> 8 0.586 0.389 0.496 0.461 0.500 0. 000 0.500 0. 000 0.087 3 
S< 10 0.454 0. 622 0.541 0.386 0.500 0.500 0. 600 0. 000 0.980 2 

对 


CS 17 0.683 0.384 0.633 0.581 0.500 0.625 0.610 0.500 0.389 


4, 和 ”多 项 目 并 行 专家 组 多 维特 征 均衡 推荐 

- 噬 设 定 多 项 目 并 行 抽取 的 约束 条 件 :@ 符合 单一 项 
日 殷 选 专家 组 多 维特 征 均衡 推荐 ; @ 同时 间 段 内 ,在 
有 M 名 专家 的 专家 库 中 抽取 不 同 的 候选 专家 组 (组 内 
mm 位 专家 ) ,分 别 对 N 个 项 目 进行 评审 ;@ 不 同 待 审 项 
目 中 ,不 得 出 现 同一 名 评审 专家 。 

在 上 述 条 件 约束 下 ,用 本 文 方法 进行 仿真 实验 ,分 
别 计算 各 专家 与 N 个 待 审 项 目的 领域 相关 度 , 在 多 维 
寺 征 均衡 的 基础 上 进行 抽取 ,得 到 多 项 目 并 行 评审 的 
最 大 项 目 数 Nmax = 6。 该 结果 证 明 ,本 文 方法 在 保证 
领域 相关 度 和 多 维特 征 均衡 的 同时 ,能 够 充分 满足 同 
时 段 内 多 项 目 并 行 评审 的 实际 应 用 。 

S 结论 与 展望 

利用 知识 计量 .情感 特征 提取 等 技术 手段 进行 专 
家 个 体 多 维特 征 刻画 ,并 基于 刻画 结果 进行 专家 组 多 
维特 征 均衡 的 推荐 方法 从 原理 上 进一步 贴近 了 认 知 科 
学 的 理论 内 涵 , 较 之 以 随机 抽取 组 成 的 专家 组 具有 更 


好 的 问题 针对 性 与 科学 性 。 实 践 中 ,在 较为 明确 的 有 
限 维度 知识 边界 条 件 下 ,本 文 由 于 采用 规范 的 知识 补 
充 与 知识 表示 方法 作为 技术 实现 的 基础 ,可 支持 多 领 
域 政府 项 目的 专家 组 推荐 ,从 而 弥补 现 有 方法 的 空缺 。 
对 长 期 累积 的 专家 评审 意见 进行 知识 抽取 与 知识 计量 
的 方法 由 于 得 到 科学 的 知识 表示 而 具有 合理 可 行 的 计 
算 复杂 度 , 这 在 实验 中 得 到 了 充分 证 实 。 男 一 方面 ,我 
国政 府 各 类 项 目 管理 。 部 门 普遍 采用 专家 库 的 形式 实 
施 项 目 评审 ,这 为 本 文 方法 的 实施 提供 了 基础 环境 。 
最 后 ,本 文 方法 的 效果 受 被 评审 对 象 知识 概念 的 完整 
性 与 准确 性 约束 ,还 受到 专家 评审 意见 语言 规范 性 等 
因素 的 影响 ,实用 中 需要 对 领域 知识 体系 进行 不 断 的 
补充 与 完善 。 后 续 将 进一步 研究 本 文 方法 在 相关 领域 
的 应 用 ,不 断 提升 理论 研究 与 实践 水 平 。 
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Research on Expert Individuals Multi-Feature Depiction and 
Expert Group Equilibrium Recommendation 
Hua Bm Wu Nuo He Xin 
School of Science and Technology, Tianjin University of Finance and Economics, Tianjin 300222 

Abstract: | Purpose/significance | A recommendation method of e-government project review expert group 
based on multi-feature depiction of individual experts is proposed. It can improve the consistency level of project e- 
valuation among expert groups. | Method/process | Taking the long-term evaluation opinions of individual experts as 
the data source, knowledge element recognition and emotion polarity acquisition were realized by using opinion min- 
ing technology. The domain knowledge structure of experts was constructed and updated dynamically. Statistical anal- 
ysis was used to describe level of expert knowledge, judging depth, emotional characteristics and domain expertise. 
This paper described the expert feature based on Scientometrics and recommended a combination of experts. | Re- 
sult/ conclusion | The method in this paper focuses on the multi-dimensional feature equilibrium of expert group. It 
has good pertinence for e-government project evaluation, and achieves good application effects. 
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